Voor 1100 stond op de plaats van het huidige kasteel de oude herenhoeve ten Driesshe, bewoond door een indrukwekkend geslacht van meiers of rentmeesters van de hertog van Brabant.
In 1449 werd het landgoed door de Hertog van Brabant, Filips de Goede, verkocht aan Henri van der Moelen, gemeenteraadslid van Antwerpen. Op 1 juni 1505 kreeg zijn zoon, ridder Hendrik van der Moelen alle feodale rechten van de heerlijkheid Westmalle. Zijn kleindochter huwde in 1523 met Philip de Cotereau en zo kwam door erfenis de heerlijkheid in het bezit van het geslacht de Cotereau. Hun zoon Evrard verbouwde in 1561 de oude hoeve ten Driessche tot een ware burcht met poort en valbrug.
In 1743 kocht ridder Jacobus Benedictus Pauwens de heerlijkheid Westmalle met het kasteel. De familie Pauwens woonde in het kasteel tot 1847. In 1848 komt het kasteel in handen van Antwerpse diamanthandelaars, de gebroeders Bovie. Deze verkochten het op hun beurt in 1874 aan Louis Geelhand. In 1878 kocht Baron de Turck de Kersbeeck het kasteel en liet het kasteel in oude stijl herstellen en renoveren tot zijn huidige vorm door architect Schadde. In 1914 erfde oud burgemeester van Westmalle, baron Alfons van der Straten Waillet, het kasteel.
De laatste eigenaar, baron Jacques van der Straten Waillet, vroeg en kreeg in 1978 de klassering van het kasteel dat zijn uitzicht van 1561 perfect heeft weten te bewaren..